Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems
Mult-DPO：面向推荐系统的多项式直接偏好优化
🧭 生成式推荐 · 多正例偏好优化 ★ 深度解读
University of Virginia · Netflix · Cornell University
提出多项式替代似然，将 DPO 扩展到多正例集合式偏好对齐，并证明其为 marginalized PL 损失的上界
📌 工作参考价值（4 点）
- 对于包含会话、行为序列等场景，用户通常有多个正反馈（点击/喜欢），可直接用 Mult-DPO 同时建模多个正例与负例，无需成对损失，时间复杂度从 O(K^2) 降至 O(K)。
- 训练时利用 KV-cache 复用 prompt 部分，使得单步计算开销与 vanilla DPO 相当，适合部署在电商/对话推荐中序列较长、候选物品较多的场景。
- 硬负例采样能收紧损失上界，可借鉴 SPRec 风格按 epoch 动态采样高权重负例，进一步强化对齐效果。
- 若存在多级偏好（如评分 1-5），可直接用 Mult2-DPO 保留精细偏好结构，提升排序质量，适合替换传统 BPR 损失。